Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

基于代理的深度度量学习（DML）通过将图像嵌入与班级代表接近的图像（通常相对于它们之间的角度）来学习深度表示。但是，这无视嵌入规范，该规范可以带有其他有益的环境，例如类或图像 - 内在不确定性。此外，基于代理的DML努力学习课堂内部结构。为了立即解决这两个问题，我们引入了基于概率的非各向异性概率代理DML。我们将图像模拟为高超球的定向von mises-fisher（VMF）分布，可以反映图像内部不确定性。此外，我们为类代理提供了非异向von mises-fisher（NIVMF）分布，以更好地表示复杂的类别特异性方差。为了衡量这些模型之间的代理到图像距离，我们开发并研究了多个分布到分配和分布指标。每种框架选择都是由一系列消融研究激励的，这些研究展示了我们对基于代理的DML的概率方法的有益特性，例如不确定性意识，在培训期间较好的梯度以及总体改善的概括性能。后者尤其反映在标准DML基准测试中的竞争性能中，我们的方法可以进行比较，这表明现有的基于代理的DML可以从更概率的治疗中受益匪浅。代码可在github.com/explainableml/probabilistic_deep_metric_learning上找到。

对理解和分解学习的嵌入空间的兴趣正在增长。例如，最近基于概念的解释技术通过可解释的潜在组件分析机器学习模型。必须在模型的嵌入空间中发现此类组件，例如，通过独立的组件分析（ICA）或现代的分离学习技术。尽管这些无监督的方法提供了一个合理的正式框架，但它们要么需要访问数据生成功能，要么对数据分布（例如组件的独立性）施加严格的假设，而这些假设通常在实践中受到侵犯。在这项工作中，我们将视觉模型的概念解释性与解开学习和ICA联系起来。这使我们能够提供有关如何识别组件的第一个理论结果，而无需任何分配假设。从这些见解中，我们得出了与当前方法相比，它适用于更广泛的问题，但拥有正式的可识别性保证。在与组件分析和300多个最先进的分解模型的广泛比较中，即使在不同的分布和相关强度下，DA也稳定地保持了卓越的性能。

近年来提出了各种本地特征归因方法，后续工作提出了几种评估策略。为了评估不同归因技术的归因质量，在图像域中这些评估策略中最流行的是使用像素扰动。但是，最近的进步发现，不同的评估策略会产生归因方法的冲突排名，并且计算的昂贵。在这项工作中，我们介绍了基于像素扰动的评估策略的信息理论分析。我们的发现表明，与其实际值相比，通过删除像素的形状而不是信息泄漏的结果。使用我们的理论见解，我们提出了一个新的评估框架，称为“删除和Debias”（ROAD），该框架提供了两种贡献：首先，它减轻了混杂因素的影响，这需要在评估策略之间更高的一致性。其次，与最先进的时间相比，道路不需要计算昂贵的重新训练步骤，并节省了高达99％的计算成本。我们在https://github.com/tleemann/road_evaluation上发布源代码。

人类参加，过程和分类给定图像的方式有可能使深层学习模型的性能大大效益。利用人类聚焦的地方可以在偏离基本特征时纠正模型以获得正确的决策。为了验证人类注意力包含诸如细粒度分类等决策过程的有价值的信息，我们可以比较人类注意和模型解释在发现重要特征方面。为了实现这一目标，我们为细粒度分类数据集幼崽收集人的凝视数据，并建立一个名为CUB-GHA的数据集（基于凝视的人类注意）。此外，我们提出了凝视增强培训（GAT）和知识融合网络（KFN），将人类凝视知识整合到分类模型中。我们在Cub-Gha和最近发布的医疗数据集CXR眼中实施了我们的胸部X射线图像的建议，包括从放射科医师收集的凝视数据。我们的结果表明，整合人类注意知识有效效益，有效地进行分类，例如，在CXR上改善基线4.38％。因此，我们的工作不仅提供了在细粒度分类中了解人类注意的有价值的见解，而且还有助于将人类凝视与计算机视觉任务集成的未来研究。 CUB-GHA和代码可在https://github.com/yaorong0921/cub -gha获得。

我们介绍了世界上最大的统一公共数据集的眼睛图像，该图像是用头部安装的设备拍摄的。 TEYED带有七个不同的头部注射痕迹。其中，将两个眼动仪集成到虚拟现实（VR）或增强现实（AR）设备中。 TEYED中的图像是从各种任务中获得的，包括乘车，模拟器骑行，户外运动活动和日常室内活动。数据集包括2D \＆3D地标，语义分割，3D眼球注释以及所有图像的注视向量和眼动类型。为学生，虹膜和眼皮提供了地标和语义分割。视频长度从几分钟到几个小时不等。 TEYED拥有超过2000万次精心注释的图像，为在现代VR和AR应用中的计算机视觉，眼睛跟踪和凝视估算领域的研究中提供了一个独特的，连贯的资源和宝贵的基础。只需通过ftp作为用户teyeduser连接而在nephrit.cs.uni-tuebingen.de（ftp：//teyeduser@nephrit.cs.uni-tuebingen.de）上进行数据和代码。

新一代头戴式显示器，如VR和AR眼镜，正在进入市场，具有集成的眼踪，预计将能够在许多应用中启用人机交互的新方法。然而，由于眼睛运动属性包含生物信息，因此必须正确处理隐私问题。最近已经应用于从这种显示器获得的眼部移动数据等差分隐私机制等隐私保存技术。标准差异隐私机制;然而，由于眼睛运动观测之间的时间相关性而易受伤害。在这项工作中，我们提出了一种新颖的基于转换编码的差分隐私机制，以进一步调整它对眼球运动特征数据的统计数据并比较各种低复杂性方法。我们扩展了傅立叶扰动算法，这是一个差异隐私机制，并在证明中纠正了缩放错误。此外，除了查询敏感性之外，我们还说明了对样本相关性的显着还原，这提供了在眼睛跟踪文献中提供了最佳的效用隐私权衡。我们的结果提供了明显高的隐私，而在隐藏个人标识符的同时，在分类准确性损失的情况下提供了明显高的隐私。

The majority of existing post-hoc explanation approaches for machine learning models produce independent per-variable feature attribution scores, ignoring a critical characteristic, such as the inter-variable relationship between features that naturally occurs in visual and textual data. In response, we develop a novel model-agnostic and permutation-based feature attribution algorithm based on the relational analysis between input variables. As a result, we are able to gain a broader insight into machine learning model decisions and data. This type of local explanation measures the effects of interrelationships between local features, which provides another critical aspect of explanations. Experimental evaluations of our framework using setups involving both image and text data modalities demonstrate its effectiveness and validity.

The goal of algorithmic recourse is to reverse unfavorable decisions (e.g., from loan denial to approval) under automated decision making by suggesting actionable feature changes (e.g., reduce the number of credit cards). To generate low-cost recourse the majority of methods work under the assumption that the features are independently manipulable (IMF). To address the feature dependency issue the recourse problem is usually studied through the causal recourse paradigm. However, it is well known that strong assumptions, as encoded in causal models and structural equations, hinder the applicability of these methods in complex domains where causal dependency structures are ambiguous. In this work, we develop \texttt{DEAR} (DisEntangling Algorithmic Recourse), a novel and practical recourse framework that bridges the gap between the IMF and the strong causal assumptions. \texttt{DEAR} generates recourses by disentangling the latent representation of co-varying features from a subset of promising recourse features to capture the main practical recourse desiderata. Our experiments on real-world data corroborate our theoretically motivated recourse model and highlight our framework's ability to provide reliable, low-cost recourse in the presence of feature dependencies.

随着复杂的机器学习模型越来越多地用于银行，交易或信用评分等敏感应用中，对可靠的解释机制的需求越来越不断增长。局部特征归因方法已成为事后和模型不足的解释的流行技术。但是，归因方法通常假设一个固定环境，其中预测模型已经受过训练并保持稳定。结果，通常不清楚本地归因在现实，不断发展的设置（例如流和在线应用程序）中的行为。在本文中，我们讨论了时间变化对本地特征归因的影响。特别是，我们表明，每次更新预测模型或概念漂移都会改变数据生成分布时，本地归因都会变得过时。因此，数据流中的局部特征归因只有在结合一种机制结合使用的机制时才能提供高解释性功能，该机制使我们能够随着时间的推移检测和响应局部变化。为此，我们介绍了Cdleeds，这是一个灵活而模型的不合理框架，用于检测局部变化和概念漂移。 CDEREDS是基于归因的解释技术的直观扩展，以识别过时的局部归因并实现更多针对性的重新计算。在实验中，我们还表明，所提出的框架可以可靠地检测到本地和全球概念漂移。因此，我们的工作在在线机器学习中有助于更有意义，更强大的解释性。